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(57) Abstract: The invention concerns a mediod and a system for three-dimensional reconstruction of an image representing the 
surface contours of at least an object (1). from at least a two-dimensional view of said object obtained by X-ray, which consists in: 
determining the position of die photographing source (7) in a reference repository; selecting a predefined model constimting a mean 
form of the object, and repeating die process until die contours of the model arc such that die variations between the overiiead projec- 
tion rays of die contours of die twondimensional image from die souree and die model surface are minimal; selecting an orientation 
and a position for die model in die reference repository; dien selecting a deformation of die model to modify its contours in diree 
dimensions. 
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— Avec r€^port de recherche ifaemationale. 



En ce qui conceme les codes a deux lettres et autres abrevia- 
tions, se referer aux "Notes explicatives relatives aux codes et 
abreviations" figurant au dibut de chaque immero ordinaire de 
la Gazette du PCT, 



(57) Abr£g6: L* invention conceme un proc^d^ et un syst^me de reconstitution d'line image en trois dimensions lepr^ntant les 
contours suifaciques d'au moins un objet (1), k partie d*au moins une vue en deux dimensions de cet objet prise aux rayons X« dans 
lesquels on d^tennine la position de la source (7) de prise de vues dans un rtf tentiel de r^dcence, on s€lectionne un module pr^fini 
constituant une fonne moyenne de Tobjet et, de Ca^on iterative jusqu'& ce que les contours du mod^e soient tels que les hearts entre 
des rayons de r^troprojection des contours de Timage en deux dimensions depuis la source et la surface du module soient minimaux, 
on s^lectionne une orientation et une position du modMe dans le r£fdrentiel de r^fitence. puis on sdlectionne une d^onnation du 
module pour modifier ses contours en trois dimensions. 
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RECONSTITUTION STATISTIQUE DE SURFACES EN TROIS DIMENSIONS 



La presente invention ccanceme la reconstitutian d' ima- 
ges en trois dimensions et, plus particuliSrement , la reccanstitu- 
t:ion des contours surfaciques d*\jne image Sl pazitir de vues, m&ne 
incompletes, en deux dimensions. 
5 Un exerrple d* application de la presente invention est 

la reccnstituticn d' images representant des elements osseiox k 
partir d' images en deux dimensions prises, par exerrple, aux 
rayons X. De telles images peuvent servir, par exenple, 3l simuler 
xme intervention chirurgicale en pezmettant au praticien de prg- 

10 visualiser les positions respectives des os au niveau d'une arti- 
culation, par ex^iple, en cas de plastie ligamentaire ou de mise 
en place de prothdse. 

Aujourd'hui, pour perraettre au praticien de visual iser 
une image en trois dimensions k partir d* images en deux dimen- 

15 sions, on est contraint d'utiliser un scanner §. rayons X effec- 
tuant des tomographies. A partir de ces tomographies, on sait 
reconstituer une image en trois dimensions. Soit il s'agit d'une 
technologie dite de tomocpi^phies en trois dimensions dans 
laquelle vn grand norabre de vues (de I'ordre de 200) sont prises 

2 0 au moyen d'\m scanner ^ rayons x selon diffSrentes positions, et 
les contours de I'os sont alors reconstituSs par traitement 
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<!• image i. partir de ces vues au scanner. Soit il s"agit d'xrne 
technologie dite de tomographies en deux dimensions dans laquelle 
iin grand noiibre de coupes sont prises au mpyen dL*\m scanner ^ 
rayons, x transversalement t I'os. On peut alors reconstituer 
5 1' allure et la structure de I'os. 

La technique du scanner donne de bons rSsultats inadLS 
est d'une mise en oeuvre lourde et couteuse. En effet, 1 'utilisa- 
tion d'\in scanner permet d'cbtenir un ensenible d' images en deux 
dimensions foumissant non seulement des informations sur le 

10 contour mais 6galement sur I'intfirieur de I'os. Or, dans de nom- 
breuses applications, seule la connaissance du contour surfacique 
de I'os ou de I'objet est nScessaire. 

un autre exarple d' application de la prfisente invention 
est la reconstitution d*osseinents incoctqplets, par exenple, en 

15 archeologie. Une reconstitution d' images en trois dimensions peut 
permettre de retrouver de fa^on q[tiasi-parf aite la forme origi- 
nelle de I'os m&ne si celui-ci est dScouvert de fagon inccmpldte. 
Dans une telle cqpplication, des probldmes similaires ii ceux e3^>o- 
sSs ci-dessus en relation avec la simulation d' interventions chi- 

20 rurgicales se posent. En particulier, il est souvent utile de 
connaitre la forme de I'os sans aw-oir a se preoccuper de sa 
structiire interne, 

autre inconvenient des techniques connues est 
cju'elles inposent une dose de radiations irrportante pour le 

25 patient ce qui n'est pas souhaitable. Si cet inconvenient est 
moins sensible dans le domaine de I'archSologie ou c'est le coQt 
qui pr6domine, il est particuliereament g§nant dans la simulation 
d' interventions chirurgicales • 

La prSsente invention s' applique plus particuligrement 

30 3l la reconstitution d' images se rapportant Si des objets identi- 
fies, c'est-a-dire, dont on connait a I'avance la forme generale. 
Par exarple, pour un os, il faut au prealable decider de quel os 
il s'agit. 

La prSsente invention vise §. proposer un nouveau pro- 
35 cede de reconstitution d' images en trois dimensions qui pallie 
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les inconv^nients des techniques CGEnnues. L* invention vise, en 
particulier, sL proposer une solution qui ne necessite pas l*eni- 
ploi coQteux d'un scanner Si rayons X. 

La present.e invention vise 6galenient a proposer une 
5 solution qui soit conpatible avec ime exposition minimale aux 
rayons X ou equivalents. 

L* invention vise en outre a minimiser le nombre de vues 
en deux dimensions necessaires pour reconstituer I'iinage en trois 
dimensions. 

10 Pour atteindre ces dbjets, la prSsente invention pre- 

voit un proc§d§ de reconstitution d*une inege en trois dimensions 
representant les contours surfaciques d*au moins un objet, S par- 
tir d'au moins ime vue en deux dimensions de cet cibjet prise aux 
rayons X, caracterise en ce qpa'il consiste a : 

15 determiner la position de la source de prise de vues 

dans un r§f §rentiel de reference / 

s61ectionner un moddle pr6d6fini constituant une forme 
raoyenne de I'dbjet / et 

de faqron iterative jiisqu'^ ce que les contours du 

20 modele soient tels que les Scarts, entre des rayons de r^tropro- 
jection des contours de 1» image en deux dimensions d^juis la 
source et la surface du modele, soient minimaux : 

selectionner une orientatioi et xane position du modele 
dans le r§f§rentiel de reference, puis 

25 selectionner une deformation du module pour modifier 

ses contours en trois dimensions . 

Selon un mode de realisation de la prSsente invention, 
le modele est obtenu Sl partir d'luie population d' dbjets pour 
laquelle on recherche la correspondance statistique comnnune ^ 

30 tous les dbjets pour determiner une forme moyenne et les deforma- 
tions principales par rapport a cette forme moyenne, de fagon ^ 
disposer d'au moins un moddle statistique. 

Selon un mode de realisation de la presente invention, 
les etapes de selection iteratives consistent & faire subir au 

35 modeie statistique, successivement, une transformation rigide 
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ntodifiant sa position et/ou son orientation et une cSeformation 
non-rigide modifiant ses contours surfaciques. 

Selon \m mode de realisation de la pr€sente invention, 
les contours de I'iiriage en deux dimensions sent dbtenus automat i- 
5 quement en projetant le moddle dans le plan de 1* image en dexjx 
dimensions, et en deformant les contours projetes de fagon a les 
faire coincider avec les points de fort gradient en niveaux de 
gris de 1' image en de\ix dimensions. 

Selcn un mode de realisation de la presente invention, 
10 la determination automatigue des contours de 1' image en deux 
dimensions est effectuee de fa?on iterative, chaque iteration 
etant intercaiee entre deux iterations successives des etapes de 
selection. 

Selon \m mode de realisation de la presente invention, 
15 on determine, dans le referent iel de reference, des coordoimees 
en trois dimensions de points de I'dbjet, de faqton i. disposer de 
points de reference suppiementaires pour les etapes de selection 
iteratives de position, orientation, et deformation. 

Selon un mode de realisation de la presente invention, 
20 on utilise plvisieurs images en deux dimensions pour lesquelles 
les positions respectives de la source de prise de vues sont tou- 
tes determinees dans le referentiel de reference, et on effectue 
les etapes de selections iteratives en tenant cocttpte des rayons 
de retrqprojection des contours de toutes les images en deux 
2 5 dimensions . 

selon un mode de realisation de la presente invention, 
le nombre d' images utilise est fonction de la precision souhad.- 
tee. 

Selon un mode de realisation de la presente invention, 
30 la sxirface du modele est constituee d'el&tients de triangle, les- 
dits ecarts etant mesures par rapport t des points de certaines 
aretes constituant des generatexirs du contour en trois dimen- 
sions. 

Selon un mode de realisation de la presente invention, 
35 le procede est applique Sl la reconstitution des contours surfaci- 
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ques de pliisieurs cS>jets lies entre eux par des relations de 
transforraaticn rigide et/ou Slastique. 

Selon un mode de rSalisatican de la prfisente invention, 
le procedS est applique a la reconstitutican d' images d'os. 
5 L' invention conceme Sgcaeanent un systdme de traitement 

d* images, catportant des moyens pour la mise en oeuvre du procSdS 
de recaostitution d' images en trois dimensions. 

Ces dbjets, caracteristiques et avantages, ainsi que 
d'autres de la presente invention seront exposes en detail dans 
10 la description suivante de modes de realisation particuliers 
faite ^ titre non-limitatif en relation avec les figures jointes 
parmi lesquelles : 

la figure 1 represente un mode de realisation d'un sys- 
tCTie de reconstitution d' images en trois dimensions d. partir d'un 
15 dispositif de prise de vues en deux dimensions selon la prSsente 
invention / 

la figure 2A illxistre la prise d'une vue en deux dimen- 
sions pour la mise en oeuvre du proced6 de reconstitution d' ima- 
ges en trois dimensions selcn la presente invention ; 
20 la figure 2B illustre la prise de trois vues en deux 

dimensions pour la mise en oeuvre du procfidS de reconstitution 
selon la prSsente invention / 

les figures 3A, 3B et 3C illustrent trois etapes carac- 
teristiques du procede selon un mode de realisation de la prS- 
25 sente invention / 

la figure 4 illustre \m mode de determination de g6ne- 
rateinrs de contour selon la presente invention / et 

la figure 5 illustre un mode de dfitermination pr6fer§ 
selon 1» invention de I'Sccuit entre un modele en trois dimensions 
30 et une vue en deux dimensions. 

Les manes el6nents ont 6t6 dSsignSs psur les mgmes refe- 
rences aux differentes figures qui ne sont pais §. I'Schelle. Pour 
des raisons de clcirte, seuls les Slonents qui sont necessaires ^ 
la ccnprehension de 1' invention ont ete represent6s aux figures 
35 et seront decrits par la suite. En particulier, les moyens de 
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traitement images conprenant les calculateurs infortnatigues 
n'ont pas 6t6 reprgsentes et ne seront pas dScrits de faqcxcx 
detaillSe, car leur realisation est: k la port^ de I'homme du 
mgtier, Sl partiir des indications fcnctionnelles dcmi§es ci-aprSs. 
5 IMe Ccureict&ristique de la presente invention est de 

rechercher la position et 1 » orientation d'lm objet reconsti- 
tuer, et dont on connait au raoins ime vue en deux dimensions, 
partir d'une base de donnfies ccntenant des modules de cet objet. 
Quand plusieurs vues en deux dimensions sent utilisees, ces vues 

10 sont toates r§f6renc6es dans vn m&ne r^ferentiel. Ainsi, 1» inven- 
tion conceme la reconstitution d'une image representant xxn objet 
dSja identifie et dont on peut disposer de modules de taille 
et/ou de forme differentes. 

me caract^ristique d'un mode de rfesilisation pr§f6re de 

15 la presente invention est d'utiliser au moins un module statisti- 
que deformable, ^tabli I partir de la base de donn^es, pour 
reconstituer la forme en trois dimensions de 1' objet. Ainsi, 
1' invention prevoit de definir, avant toute reconstitution, une 
base de donnees contenant des modeles en trois dimensions de 

2 0 1' objet Si reconstituer ou, de pr§f6rence, un ou plusieurs modules 
statistiques d^formables ^ partir de cette base de dacmSes. 

La figure 1 represente une vue scheroatique d'un systeme 
de reconstitution d' images en trois diinensions selon un mode de 
realisation de la presente invention. L'exenple de la figure 1 

25 conceme la reconstitution de 1* image d'lon os 1 partir de 
radiographies en deux dimensions. En figure 1, on a repr^sent^ 
sch^maticjuement et partiellement le corps d'xan patient p dont la 
jainbe contient I'os 1 que I'on souhaite visual iser. La jambe du 
patient p (done I'os 1) est, par exenple, pos& sur une table 2. 

30 Une potence 3 porte un dispositif 4 de localisation en trois 
dimensions qui peut etre cptique, magn^tique, mecanique ou ultra- 
sonore et qui repere la position et 1' orientation de multiples 
capteLirs-eraetteurs const itues, par exeitple, de diodes infra- 
rouges, de reflecteiors, d'6mette\ars magnStiques, a ultrasons, 

35 etc. Uh tel localisateur est parfaitetnent connu et ne sera pas 
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d§taillS plus avant. On notera sinplement qiiB, pour garantir unB 
localisation correcte du patient (de I'os 1), celixi-ci est g&iS- 
ralement ggalement Squipe d'un capteur-emetteur 18 detectable par 
le localisateur 4. En effet, selon 1' invention, toutes les vues 
5 doivent pouvoir etre e3<ploit6es dans im m&ne rgfSrentiel (de 
r6f 6rence) , qui est associe a I'dbjet cjue l*on reconstitue. 

Plusiexors capteurs-atietteurs peuvent Stre fix§s sur le 
systeme de radiologie, prcxzhe de la source 7 (capteur-^rnetteur 
19) ou proclie d»un detecteur d' image 9 (capteur-emetteur 5), de 

10 fagon a repgrer la position du systfttie de radiologie par rapport 
au rfiffirentiel de r§f§rence du capteur-Smetteur 18. 

Dans certains Ceis, les capteurs-^netteurs 5 et 19 sent 
difficilCTient reperables en raison de leur 61oignetnent ou de la 
presence d'dbjets parasites dans le chairp de mesure du localisa- 

15 teur 4. Dans ce cas, un capteur-CTietteur 20 peut etre installe 
sur la table 2 dans le chaitp de mesure du localisateur 4. On 
positionne alors le systeme radiologique dans de bonnes condi- 
tions de mesure et on repSre les positions des capteur-fimetteurs 
5 et 19 par rapport au capteur-emetteur 20 \ane fois pour toutes 

20 (on ne renouvelle cette etape c[ue si on bouge le systeme de 
radiologie dans son ensemble) . 

Le systeme radiologique etant equipe de codeurs angu- 
laires sur ses axes, comme cela sera detaille plus loin, les 
changements de position relative du systeme radiologique sont 

25 mesures a I'aide de ces codeurs et peuvent ainsi §tre reportes 
dans le referent iel du Cc^teur-&netteur 20. Pour chaque prise de 
vue, on mesure la relation geom^trigue entre les capteurs- 
fimetteurs 20 et 18 et, par ce bisdLs, on reporte la position du 
systdme radiologique dans le r6f Srentiel de r6f firence du cs^jteiar- 

30 emetteur 18. Ainsi, toutes les radiographies sont calibr£es dans 
le rfefSrentiel du capteur-raietteur 18 qui peut etre mobile. 

Le dispositif 6 est, par exeitple, constitu^ d'une 
source 7 k rayons X portee par ime premiere extremite d'un bras 8 
en demi-cercle dont 1' autre extremity est destinee recevoir le 

35 film 9 d'iirpression de la radiographie, ou un capteur Slectroni- 
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que fequivalent tel qu'ijn amplificateur de brillance, ou un detec- 
texxr plat au silicium amorphe. La relaticsn entre le bras 8 et la 
table 2 est telle que cette demiSre se trouve entre la source 7 
et le capteur 9. Le bras 8 est montfi k rotation autour d'un axe 
5 10, motorist ou ^ deplacement ttanuel, et port6 peur une potence 
11. L'ensettible de prise de vues en deux dimensions peut ainsi 
toumer autour de l»os 1 pour effectuer le ncmbre d§sir§ de 
radiographies de celui-ci, Le cas echeant, le localisateur ppti- 
que 4 peut etre assocife k im dispositif de codage anguledre de la 

10 position de I'axe 10. 

L'ensenble est pilot€ par iin systdme informatique, par 
exontple, un ordinateur 12 sissocie, de pr6f6rence, 4 un Scaran de 
visualisation 13 . A la figure 1 , on a synibolise par des liaisons 
unifilaires 14, 15, 16 et 17, les bus infonnatiques d'Schange de 

15 signaux electriques de coramande et de donnees entre 1' ordinateur 
12 et, respectivement , le localisateur 4, la source 7, le noteur 
ou le codeur optionnel de l*axe 10 et le c^teur 9. 

Les figures 2A et 2B illustrent deux modes de prises de 
vues selon deux modes de rSalisation de la prSs^te invention, 

20 Aux figures 2A et 2B, les vues en deux dimensions ont 6t6 repre- 
sentees par les plans respect if s dans lesquelles elles sont pri- 
ses, c'est-a-dire par 1* allure de la surface du capteur 9 (figure 
1) lors des prises. Cela correspc^id aux images radi ographiques en 
deux dimensions recup^r^es par le systotie inf ormatique . 

25 La figure 2A represente le cas d'une seule parise de vue 

dans un plan PI, foumissant \me image II de I'os 1, La position 
de la source 7 a 4te symbolisge par \ui point ou convergent des 
rayons r de rStrcprojection des quatre coins du plan PI. 

La figure 2B repr6sente le cas d'une triple prise de 

3 0 vues dans des plans PI, P2 et P3, foumissant trois images il, 12 
et 13 en deux dimensions de I'os 1. En figure 2B, la position de 
la source n'est pas constante, celle-ci est differente pour cha- 
que prise de vue. Toutefois, grace au localisatetir 4, toutes les 
positions de la source sont connues dans le refSrentiel de r§f6- 
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rence. Par soucis de clartg, seuls les rayons rl des guatre coins 
du plan PI dans la position de 1* image XI ont 6t6 reprSsent^s . 

On notera que la source de prises de vues peut subir, 
entre deux images en deux dimensions, d'autres mouvesnents que 
5 dans iin meme plan comrne illustr^ par les figures 1 et 2B. En 
d'autres terraes, le bras 8 du systCTie de prises de vues 6 peut 
presenter plus de deux degr§s de liberte, dont chacun pourra etre 
muni d'un dispositif de codage angulaire. Selon un mode de reali- 
sation pr6f§re, le bras 8 est tnonte sur deux axes de rotations 

10 horizontal et vertical et un axe de translation vertical. 

On notera ggalement que les images en deux dimensions 
peuvent n'gtre que partielles. Pou: exenple, dans 1 'application 
aux radiographies, celles-ci peuvent §tre interprStSes par I'ope- 
rateur pour valider les cc?ntours des vues en deux dimensions S. 

15 prendre en conpte pour la reconstitution. IMe telle interpreta- 
tion n'est pas g&iante en raison du faible nombre de vues en deux 
dimensions necessaire selon 1' invention (moins de dix en gene- 
ral) . La validation des contours dans le syst&ne informatique 
peut Stre effectu^e, par exenple, au moyen d«une souris, d'un 

20 crayon qptique, d'un Scran tactile, ou Equivalent, de fagon clais- 
sique pour im enregistreanent de contour sur lane image en niveaux 
de gris. 

Selon un autre mode de realisation prSfere, la determi- 
nation des contours sur les images radiographiques est automatic 

25 see en mettant en oeuvre \an procSde dit de recalage en deux 
dimensions. XJn tel procedS consiste 3. determiner le contour de 
fatjon automatique par analyse des gradients les pluis forts en 
niveaux de gris. Ce procSde est decrit, par exemple, dans la 
thSse de Gelu lonescu, presentee publiquement le 4 decembre 1998 

30 Si I'Universite Joseph Fourier de Grenoble (France), et ayant pour 
titre "Segmentation et recalage d' images echographiques par uti- 
lisation de connaissances physiologiques et morphologiques" . 
Selon 1» invention, on met en oeuvre ce procede de recalage en 
dexjDc dimensions en cotnbinaison avec une projection, sur 1' image 

35 en deux dimensions, du modfile statist ique dSformable de I'objet 
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dont on scaihaite reconstituer les contours siirfacigues en trois 
dimensions. On effectue xme analyse iterative d^un contour pro- 
jet6 du moddle sur I'inoge en deux dimensions jusgu'^ obtenir, 
aprSs plusieurs passes <par exenple de 3 H 10) « une identity 
5 entre le contour du modSle projet§ qui sera d§crit ci-aprds et 
dont 1 » orientation et la dSforrration auront ete adaptes par le 
procede de 1' invention, et le contour determine par analyse des 
gradients les plus forts en niveaux de gris. Cette conibinaison 
sera mieux conprise par la suite en relation avec la figure 5. 

10 Pour sinplifier la prgsente description, on considerera 

ci-aprds que les contcurs des vues en deux dimensions sont 
connus. En pratique, les 6t^)es du proc6d6 de 1' invention seront 
effectuees en boucle, y conpris le recalage en deux dimensions, 
jusqu'a obtenir un resultat satisf aisant . 

15 Selon I'inventicn, une fois que la ou les vues en deux 

dimensions ont §t§ ctotenues, il reste 3. determiner, par recherche 
de correspondance dans la base de donnees, la forme et la taille 
de l*objet (ici, I'os) en trois dimensions. 

Pour ce faire, 1» invention prSvoit de rechercher le 

20 modele pour lesquelles les distances s6parant les contours de 
chaque vue en deux dimensions et la surface du module sont mini- 
males. 

Dans le mode de realisation prifere oQ on utilise un 
modele statistique deforraable (dSfinissant ainsi une famille de 

25 modules) de I'objet ^ reconstituer, on recherche ^ s'approcher le 
plus possible, par deformation it&rative de ce module, de la 
forme dent les contours sont tels que, comme on le verra par la 
suite en relation avec la figure 5, les rayons de rgtroprojectlon 
s'appuyant sur les points des contours de 1' image (ou des images) 

3 0 en deux dimensions depuis la source (ou depuis leurs sources 
respectives) sont tous tangentiels la surface du raodSle, etant 
entendu que les diff^rents contours en deux dimensions sont 
reperables dans le rgferentiel de reference. 

La rgalisation du module statistique d^formable en lux 

35 mScne ne fait pas I'objet de la prSsente invention et est parfai- 
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tement classique. On se bornera k rappeler que la r§cJ.isat±on 
d'un tel module fait g£ngraletnent appel a une recherche d'lone 
forme moyenne d*iine population d'cbjets de ingme type (par exem- 
pie, des f&nurs) const ituant la base de donn6es, suivie d'xuie 
5 analyse en cotrposantes principsaes pour dSterminer les dSforma- 
tions principsLles (essentielles) a appliquer §. cette forrne 
moyenne et obtenir ainsi le modele statistique. 

Une m§thode de determination d'lm modele statistique a 
partir d'une fandlle d • Schantillons est dficrite, par exenple, 

10 dans 1' article "Building a Conplete Surface Model from Sparse 
Data Using Statisticad. Shape Models: i^pplication to Computer 
Assisted Knee Surgery" de Markus Fleute et StSphane Lavallge, 
paru dans MEDICAL IMAGE CO^IPUnNG AND OOIPUTER-ASSISTED 
INTERVENTION - MICCAI»98, Springer- Verlag LNCS Series, pages 880- 

15 887, en Octobre 1998, et dent le contenu est incorporfe ici par 
reference- On notera que la precision de la reconstruction des 
contours surfaciques op^^e par 1' invention depend des gchantil- 
Ions utilises pour construire la base de donn6es du module sta- 
tistique. Par exenple, si lan module statistique de timxr est cr6€ 

2 0 ^ partir d'une population d*Schantillons ayant des formes norma- 
les (sans pathologie) , on pourra reconstituer avec precision des 
formes normaJ.es mais la precision sera limitee si le f&nur radio- 
graphie H une forme pathologique . Psu: centre, si le modele stati- 
stique est cree 3. partir d*ime grande population d ' echantillons 

25 contenant ^ la fois des formes normaLIes et des formes pathologi- 
ques, on pourra reconstituer, avec precision, des dbjets normaux 
et pathologiques . 

Selon 1' invention, une fois que I'on dispose des images 
en deux dimensions, on recherche le cas Sch^ant Sl quel modSle 

30 contenu dans la base de donnSes ces images se rapprochent le plus 
(par exeitple, si plusieurs types d'os ou si plusieurs modules 
statistiques d'un motie os sont disponibles) , puis on applique des 
transformations ^ ce modele pour s'approcher le plus possible 
d'une image en trois dimensions, telle que les rayons de r^tro- 

35 projection des images jusqu'^ leurs sources respect ives sont tan- 
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gentiels aux surfaces de 1' image en trois dimensions, placee sur 
le trajet de ces rayons et dont ils sont respectivement les plus 
proches. 

De prSfSrence, on commence par faire siibir au modSle 
5 initial au repos^ c'est-^-dire corxespondant sL la forme moyenne, 
une transformation dite rigide, c'est-^-dire, ne touchant qu'S 
son orientation et sa translation dans l»espace. Puis, quand on a 
oibtenu la position pour laquelle les rayons de r^troprojection 
sont tous Si une distance minimale des contours du modele initial, 

10 on fait subir iine dfiforrnation non-rigide au tnoddle, c"est-4-dire 
que sans modifier son orientation, on modifie sa forme a pairtir 
des donnSes contenues dans la base statistique en modifiant les 
coefficients des modes principaux du module, jusqu'3. obtenir la 
forme dont les contoiirs se rapprochent le pl\is des rayons de 

15 retrqproj action. Le cas echeant, le modele est prepositiann§ de 
fagon tres approximative par I'c^rateur par rapport aux vues en 
deux dimensions affichees a I'ecran. On notera que les moyens 
(informatiques) de traitentent d" images utilises sent classiques 
dans leur structiare et n'ont done pas besoin d'etre d6taill6s, 

20 lies figures 3A Sl 3C illustrent ces deux 6tcqpes du pro- 

cede de 1' invention. La. figure 3A repr6sente une vue en trois 
dimensions d'un mcxiele 21 avant toute deformation. II s'agit, par 
exenple, d'un modele statistique de 1» invention positionne par le 
praticien dans une orientation approximative. La figiire 3B repre- 

25 sente le modSle 21' de la figure 3A k 1' issue de I'Stape d' orien- 
tation sans mcxiification de forme. La figure 3C repr^sente 
1» image 22 en trois dimensions resultant de la mise en oeuvre de 
1' invention, c'est-t-dire correspondant au module 21', d§form§ 
pour que les rayons de rgtroprojection soient (idSalement) tan- 

30 gents k tous ses contours. 

Par souci de sinplification, un seul groupe de rayons r 
de rStrqprojection depuis une source 7 ont 6te representes aux 
figures 3A a 3C et I'ecran de projection de 1' image correspond 
dante n'a pas Stg repr§sent§. Connie il ressort des figures 3A ^ 

35 3C, un grand nooibre de rayons r de la figure 3A ne sent pais tan- 
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gents aux contours du modele 21. Le nombre de rayons de retropro- 
jection utilise depend de la precision souhaitee et des caractS- 
ristiques du tnodele statistigue, essentlellement, du nombre de 
points, surfaciques choisis pour servir de r6f6rence lors de la 
5 d6finition de ce noddle statistique. 

De la figure 3A a la figure 3B, la tzansformation est 
"rigide", c'est-S-dire que le modele n»est pas deforme. Lors de 
cette transformation, le modele 21 subit des translations et 
rotations afin d'obtenir des mesures d'^caaits minimum entre 

10 chaque rayon de retrqprojection partant des points de contour de 
1* image et la surface de I'objet dans sa position courante. On 
utilise pour cela des mgthodes mathSmatiques de recherche du 
minimum de la sonme des carres de ces eccurts par rapport aux six 
paramStres (trois degr6s de libertS en rotation et trois degr6s 

15 de libertS en translation) definissant la transformation rlgide 
recherchee. On obtient une configuration telle qu'illustree par 
la figure 3B dans laquelle le module 21 » a une position et 
orientation correct e mais une forme encore ittparfaite. C'est 
pourquoi certain rayons r' ne sont pas tangents mais traversent 

20 le modele. 

De pr6f6rence, la position resultant de la transforma- 
tion rigide (rotation, translation) est obtenue par une mithode 
(aJ.gorithme) dite du point le plus proche (Iterative Closest 
Point, ICP) . Vn exenple d'une telle methode est decrit dans I'ar- 
25 tide "A Method for Registration of 3-D Shapes" de Paul J. Best 
et Neil D. McKay, paru dans IEEE TRANSACTIONS ON PATTERN ANALYSIS 
AND MACHINE INTELLIGENCE, vol. 14, NO. 2, en f&rrier 1992, et 

dont le contenu est incorporg ici par rgfgrence. 

De la figure 3B Sl la figure 3C, la transformation est 

30 "non- rigide" (SlsLstique) et consiste §l dSformer le modSle 21 » 
sans changer son orientation jusqu*^ obtenir 1' image 22 en trois 
dimensions pour laquelle tous les rayons de retroprojection r" 
sont a une distance minimale des contours (idealement tangents) . 
Cette transformation ncn- rigide est effectuee, par exotple et 

35 selon un premier mode de realisation, en calculant les parametres 
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de dSformatiion & partir d'lui algorithme conziu sous la denoniina- 
tion anglo-saxomie "Down Hill Sinplex" . Get algorithme a €t& 
dgcrit, pcLT exeiiple, en 1965 par J. A. Nelder et: R. Mead dans 
CX}MPUTER JOURNAL, vpl. 7, pages 308-313, dont le ccntenu est 
5 incorporfi ici par r§f§rence, 

Selon un mode de realisation pref ere de 1 ' invention, 
1 ' algorithms utilise pour determiner la transformation non-rigide 
du moddle statistique est base sxor la methode de Levenberg- 
Mazquardt. Le principe de cette methode est de determiner le 
10 minimum d'une fonction ncn-lin6aire multidimensicnnelle en utili- 
sant les derivSes partielles de la fonction par rapport aux paora- 
metres de deformation du module. Cette mfithode a StS dfecrite, par 
exennple, en 1963 par D.w. Marquardt dans JOURNAL OF THE SOCIEIY 

FOR INDUSTRIAL AND APPLIED MATHEMATICS, vol. 11, pages 431-441, 
15 dont le contenu est incorpor6 ici par r6f&rence. La fonction dont 
on cherche le minimum est ici la somme des carres des distances 
entre un enseinble de rayons de retrqprojection s'appuyant sur les 
points de contours et la surface du module. Les paramgtres de la 
recherche du minimum sont les coefficients que I'on applique IL 

2 0 chaque mode de deformation du module statistique, ainsi que cela 

est presents dans 1' article "Building a Conplete Surface Model 
from Sparse Data Using Statistical. Shape Models: -?^lication to 
Coirputer Assisted Knee Surgery" de Marlcus Fleute et St§phane 
Lavallge, dSja citS. 
25 Cette m6thode est appliquSe et repetee a chaque 

position approchge jusqu'^ ce qu'il ne soit plus possible de 
minimiser les Scarts. On enchaine ainsi un recalage rigide, un 
recalage Slastique, un recalage rigide, un recalage Slsistique, 
etc. Une fois la forme en trois dimensions reconstitute, sa 

3 0 taille est bien entendu §gcLLement connue dans la mesure ou toutes 

les vues en deux dimensions ont des tallies connues, de meme que 
la position, dans le rtferentiel de reference, du module par re- 
port a\ix sources. Le nombre de passes necessaire depend essen- 
tiellCTient du nombre de parametres caractfiristiques utilises pour 
35 modeliser la deformation. 
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On notera que l^ordre dans lequel son^ effectuSes les 
deux 6tapes ci-dessus est inportant. En effet, si on ccmnence par 
effectuer lone dSformatican non-rigide, can va faire correspondre un 
tnoddle. avec une tnauviaise orientatiGn qu*il sera trds difficile ^ 
5 rgcuperer en raison de la deformation de forme subie. Toutefois, 
la minimisation des hearts peut etre effectu^e global ement en 
prenant en coitpte les paramStres rigides et les parainetres de 
deformations en mmie tenps a chaque iteration du process\is mathe- 
matigue de minimisation. 

10 On notera que, cL chaque 6tape iterative du procddS dans 

laquelle on calcule les ecarts entre les contours du modSle et 
les rayons de rStroprojection, de nouveaux points entrant dans la 
mesure sont d§termin§s c6te module et/ou c6t6 rayons de projec- 
tion, Ceci constitue une distinction iitportante par rapport ^ des 

15 procedes connus de reconstitution d' images en trois dimensions 
dans lesguels les points de mesure sent les mecnes pour toutes les 
iterations . 

line autre caractgristique de la pr^sente invention est 
que les Evaluations des hearts minimaux ne sont pas n§cessaire- 

20 ment fedtes de fagon exhaustive pour tous les elements de surface 
du modSle, En effet, cela conduirait parfois k des calculs trpp 
dispendieux raarie si le nombre d' Elements de surface peut etre 
minimise en utilisant des Elements triangulaires . Selon 1' inven- 
tion, les evaluations d'eccirts sent faites par rapport a des 

25 lignes caract6ristiques const itxaant des g6n6rateurs de contours 
du raodele. Cela minimise le nombre de points de mesure. Par exem- 
ple, \an os de type f§mur, dgfini par environ 5000 bords de surfa- 
ces triangulaires, est d§fini par environ 300 g§n6rateurs de 
contours . 

3 0 De preference, 1' analyse effectufie par le procedS de 

1' invention ne touche que des generateurs de contour de 1' image 
en trois dimensions. Ainsi, la surface du modele statistique est, 
de preference, formee d' elements triangulaires dont certaines 
arStes definissent des generateurs du contour. generateur de 

35 contour est defini par les aretes (bords) des triangles qui, pro- 
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jetes sur ion plan, dSfinissent le contGur (interxie ou exteme) . 
Le recGurs aux g§n§rat:e\irs de contours permet de riduire considg- 
rablexnent (peur exenple, d*au moins un £acteiir 10} le nombre de 
points, a chercher dans le module pour verifier la correspondance 
5 avec !■ image reconstitute. 

La figure 4 illustre la definition d*un g6nerateur de 
contour d'une image (modSle) en trois dimensions dont la surface 
est form§e d*61&tients de surface triangulaires tels que d§crits, 
par exenple, dans 1' article "Anatomy-based registration of ct- 

10 scan and intraoperative x-ray images for guiding a surgical 
robot" de A. Gueziec, paru dans IEEE TElANSACnONS ON MEDICAL 
IMAGING, 17(5), pages 715-728, en octobre 1998, et dont le 
contenu est incorpo2:6 ici par rSfSrence. 

La figure 4 reprSsente, de fagon siitplifiSe, deux 

15 triangles 30 et 31 definissant une portion de surface d'un tnodele 
en trois dimensions et dont 1' arete commune constitue une genera- 
trice 32 du contour, Le calcul k effectuer pour determiner si une 
arSte constitue ou nan une g&ifiratrice du contour consiste k cal- 
culer les angles a et P respectif s entre les noxmales aux surfa- 

2 0 ces des triangles 30 et 31 et les rayons 33 et 34 reliant le 
centre de ces surfaces au centre 35 de projection correspoodant ^ 
la position de la source de rayais X. Si I'un des angles est 
infSrieur ^ 90 tandis que 1* autre est superieur a 90**, leur 
arSte commune 32 est alors une g6n6ratrice du contour. 

25 La figure 5 illustre le type de raesure effectu6e pour 

determiner I'Scart e entre un rayon r de irStroprojection et un 
point d'un generateur de contour. Cette figure repr§sente, de 
fagon schematique, une image I de I'dbjet dans un plan P et une 
forme 21 du modSle statistique plao§e sur le trajet des rayons de 

30 retrcprojection de 1' image I jusqu'a la source (non representee) . 

Pour chaque rayon de retroprojection r, on cherche les 
podLnts respectif s 41 et 40 du rayon de retroprojection et d'un 
generateior de contour choisi parmi tous les generateurs, pour 
lequel I'ecart e entre ces points est minimal. 
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Uii avantage de la pr6sente invention est qu'elle permet 
une reconstitution beaucoup pliis rapide d'lme image en trois 
dimensions par rapport aux techniques connues. 

un autre avantage de. la prgsente invention est qu*elle 
5 permet un alignement correct du mcxi&le mSme dans des zones dH en 
ne dispose pas de dcnnSes de projection par les images en deux 
dimensions (par exenple, certaines courbures internes) . 

On not era que le contour de surface pourra, le cas 
echeant, etre affine au raoyen d'un palpeur mecanique, qptique ou 
10 magnetique foumissant des coordonn^es spatiales dans le mSnne 
refgrentiel que les images en deux dimensions. On dbtient alors 
des points supplementaires qui peuvent etre utilises dans la 
recherche de 1' image en trois dimensic^as. Le recours S \m palpeur 
peut servir, par exerrple, k diminuer le nombre de vues en deux 
15 dimensions ngcessaires en donnant lane information en trois dimen- 
sions. 

On not era egalement que le proc§d§ de 1 ' dLnvention peut 
s*appliquer a plusieurs contours surfaciques en trois dimensions 
constitiiant un ou plusieurs objets. Par exenple, on peut ainsi 

20 reconstituer simultan^xnent la surface exteme et la surface cor- 
tical.e interne d'un os. On peut egalement reconstituer la forme 
de plusieurs os participant Sl lui articulation et visibles simul- 
tanement sur les images radiologiques (par exenple, le tibia et 
le f ^mar si on s ' interesse au genou) , ou encore la forme de plu- 

25 sieurs fragments osseux d'un m&ne os. Le modSle recherchg doit, 
dans ce dernier cas, ccntenir les transformations rigides entre 
chaque contour surfacique en trois dimensions. Dans d» autre cas 
d* application 3. plusieurs objets, il faut bien entendu connaltre 
les dif f grents modules statistiques et les gventuelle transforma- 

30 tions rigides ou Slastiques entre etjx. 

Bien entendu, la present e invention est susceptible de 
diverses varlantes et modifications qui appairaitront ^ I'hotme de 
I'art. En particulier, le nombre de vues en dexrx dimensions 
devant etre utilise pour la reconstitution depend de la precision 

35 souhaitee et de la conplexite du modele. Dans certains cas, une 
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seiile vue en deux dimensions pourra suffire. De plus, bien que 
l<in\^ention ait 6t,& dficxlte en relation avec una source de rayons 
X tncibile, celle-ci pourra §tre renplacfie par plusieurs sources 
fixes, . pourvu de re^>ecter la contrainte d'ci>tenir des images en 
5 deux dimensions dans un meme rgferentiel. En outre, la mise en 
oeuvre de 1' invention fait bien entendu appel a des techniques de 
traitonent numerique d' images dont la realisation pratique est a 
la portSe de I'homnfts du mStier k partir des indications fonction- 
nelles donnees ci-dessus et dans les publications citees en refe- 
10 rences. 



wo 01/22368 



PCT/FROQ/02546 



19 



RfaiVKNDICATIQNS 

1. Proc6d§ de recanstituticxi d'une image en trois 
caimensions representant les contours surfaciques d'au moins un 
cbjet (1) , i. partix d'au raoins une vue en deux dimensioais de cet 
Ob jet prise aux rayons X, caract^rise en ce qu'il consiste a : 

5 determiner la position de la source (7) de prise de 

vues dans \m rfiffirentiel de reference ; 

sglectionner un modSle predSfini constituant une forme 
moyenne (21) de I'objet ; et 

de fagon iterative jusqu'S ce que les contours du 
10 modele soient tels que les ecarts, entre des raynns de rStropro- 
jection des contours de 1' image en deiox dimensions depuis la 
source et la surface du modele, soient miniitiaux : 

selectionner une orientation et une position du module 
dans le rSfgrentiel de ref&rence, puis 
15 selectionner xjne dSformation du modSle pour itodifier 

ses contours en trois dimensions. 

2. Proc§dig selon la revendication 1, caract&ris6 en ce 
que le modSle est obtenu a partir d'une population d^dbjets pour 
laquelle on recherche la correspondance statistique cccimune a 

20 tous les objets pour determiner une forme moyenne et les deforma- 
tions principales par rapport k cette forine moyenne, de fagon k 
disposer d*au moins un modele statistique. 

3. ProcfidS selon la revendication 2, caractSrise en ce 
que les Stapes de selection it^ratives consistent IL falre subir 

25 au mod&le statistique, successivement, \ane transformation rigide 
modifiant sa position et/ou son orientation et une deformation 
non- rigide modifiant ses contours surfaciques. 

4. Procede selon I'une quelconque des revendications 1 
a 3, caracterise en ce que les contours de 1' image en deux dimen- 

3 0 sions sont obtenus automat iquement en projetant le modele dans le 
plan de 1' image en deux dimensions, et en deformant les contours 
projetes de fagon d les faire coincider avec les points de fort 
gradient en niveaixx de gris de 1> image en deux dimensions. 



wo 01/22368 



PCT/FR0O/O2S46 



20 



5. Proc6de selon la revendication 4, caract&rise en ce 
que la dStermiziaticsn automatique des ccntours de !■ image en deux 
ditnensions est effectuSe de fagon iterative, chaque iteration 
etant: ijitercalee entre deux iterations successives des 6tapes de 

5 select icai. 

6. ProcedS selon l*\me quelccnque des revendi cations 1 
5, caracterise en ce qu'il ccaisiste determiner, dans le rSf^- 

rentiel de reference, des coordonnees en trois diirensions de 
points de I'cbjet, de fagon a disposer de points de reference 
10 suppl&nentcLLres pour les Stapes de selection itfiratives de posi- 
tion, orientation, et d6fonnation. 

7. Procgde selon I'xme quelconque des revendications 1 
a 6, caracterise en ce qu'il ccnsiste a utiliser plusieurs images 
en deux dirt^nsions pour lesquelles les positions respectives de 

15 la source de prise de vues sont toutes d6terminees dans le refe- 
rent iel de reference, et S effectuer les etapes de selections 
iteratives en tenant cotipte des rayons de retrcprojection des 
contours de toutes les images en deux dimensions. 

8. Procede selon la revendi cation 7, caracterise en ce 
2 0 que le nonibre d' images utilise est fonction de la precision 

souhaitee. 

9. Procede selon I'une quelconque des revendications 1 
k 8, caracterise en ce que la surface du modele est constituee 
d' elements de triangle, lesdits ecarts etant mesures par rapport 

25 k des points de certaines aretes constitxiant des generateurs du 
contour en trois dimensions. 

10. Procede selon I'une quelconque des revendications 1 
k 9, caracterise en ce qu'il est applique k la recanstitution des 
contours surfaciques de plusieurs oibjets lies entre eux par des 

30 relations de transformation rigide et/ou eicistique. 

11. Procede selon I'une quelconque des revendicatiois 1 
a 10, caracterise en ce qu'il est applique k la reconstitution 
d' images d'os. 
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12. Systeme de tralHement: d' images, caract:6rls6 en ce 
gu*il ccxiport:e des xoay&cis pour la mise en oeuvre du proc6dg selon 
l*une guelconque des revendications 1 ^ 11. 
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Fig 3A 
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